前言
嗨,這是我在iThome 的第一篇文章,在開始介紹之前,我先簡短介紹一下這篇系列文的方向,此系列的文章是我在公司做一些數據分析的經驗為主,因此不會有太多介紹R 的地方,當然我自認我目前還不算是個資深的資料科學家,也就是我的分析程式碼也許還有很多可以優化的地方,就還請大家多多指教囉!
技能需求
你已經架設好R語言的開發環境,而且了解相關資料結構(vector, list, data frame...)
你會操作基礎git ,文章中我會放上許多不同commit 方便讀者將專案clone 下來
github連結
開發環境 與 專案架構
開發環境為macOS High Sierra 10.13.1
R的版本為3.4.0 "You Stupid Darkness"
day1 原始碼
專案主資料夾主要會放Rscript檔,downloaded 資料夾則是從網路上爬下來的資料夾,input 資料夾是你欲分析的資料夾,output 資料夾是當你分析結束後,將結果轉成csv 檔的資料夾。
而input 資料夾中有兩個我自己做的測資檔,user.csv 是模擬我從資料庫裡匯出已註冊會員的資料,ID 是資料庫中的主Key, ACCOUNT是該會員帳號, CREATETIME 是註冊成會員的時間, MOBILE 是該會員手機
另一份orders.csv 則是使用者購買的訂單記錄,ID是資料庫的主Key, NAME是購買的商品名稱,商品名稱的括號是某廠牌,(沒錯...這邊我用亂數當產牌名稱), AMOUNT是購買數量, PRICE 是商品單價, PAYMENTTYPE 是付款方式, BUYERID 是買方會員ID, CREATETIME 是購買時間。
希望以上的介紹能讓大家更了解本系列方向。
完賽日補充:
dplyr系列:
【02】當老闆想問:話說我們的會員註冊情況如何時?
【03】當老闆再問:嗯...話說我們已註冊的會員中有多少人有消費過的?
【04】當老闆想問:話說...經營至今,我們的每個月的營收狀況如何啊?
【05】當老闆說了:喔喔喔!那這些月營收之中,又是哪些東西賣的最好啊?
【06】當老闆問說:嗯...營收最好的是掌上型電玩啊,那第二、第三名呢?能畫個圖嗎?
【07】當老闆發問:OK,現在加幾個條件,請問公司營收最高的三個月中,而且用信用卡付款中的訂單,賣最好的是哪些種類的商品呢?
【08】當老闆想知道:啊,來個回饋活動好了,你幫我拉出今年五月購買生活家電且消費滿450以上的消費者聯絡資訊給我
【09】當老闆提到:我很好奇,在有購買記錄的使用者中,買的商品種類有沒有什麼特徵呢?
【10】當老闆問說:嗯...你只不過是改變資料結構而已,說好的分析呢?
下載外部檔案系列:
【11】當老闆想瞭解:我最近對台灣農產品有興趣,你可以幫我抓個資料分析嗎?
【12】當老闆想更瞭解:除了抓當天的農產品行情價以外,有沒有辦法抓更早之前的價格啊?
【13】當老闆很想瞭解:既然現在有了這些農產品行情資料,那你可以幫我找今年一月中,平均上價高於200且交易量前幾名的作物是哪些嗎?
地址分析篇:
【14】當老闆突然問:對了,有沒有什麼辦法可以分析地址啊?可以顯示在地圖上的那種。
【15】當老闆突然又問:你畫的地點都是用經緯度座標畫的,可是我們會員資料庫存的是地址啊,你可以用地址在地圖上畫點嗎?
【16】當老闆突然再問:很好,現在地址很明瞭了,但是我想把在附近的地址當成一組做分群,這有辦法嗎?
【17】當老闆突然再再問:喔喔,地址切開是切開了,但是這個k 值我設多少會有差嗎?
【18】當老闆突然再再再問:蛤..k值好麻煩喔,那你有什麼辦法可以解決地址分類太細或太廣的問題?
【19】當老闆突然(再)^4問:用了多次k-means 後真的有比較好嗎?說說看啊!
shiny篇:
【20】當老闆嘟著嘴問:前面幾天你展示了很多資料分析手法,但是公司很多人不會寫程試,你有辦法嗎?
【21】當老闆眼睛blink blink地問:哦?這看起來很方便,那我們公司的資料怎麼在shiny 上呈現?
【22】當老闆疑惑地問:所以我可以在這個網頁調整參數,那有哪些參數可以調?
【23】當老闆興奮地說:那太好了,就先來一個可以互動的表格當作示範吧!
【24】當老闆想了想問:可是有時候資料是分段處理的,這時候該怎麼使用shiny 處理呢?
【25】當老闆扎了兩下眼問:那我們手邊資料有什麼情境適合這樣分段處理的嗎?
【26】當老闆扎了三下眼問:那可以直接在shiny 上顯示k-means 分類後的地圖嗎?
【27】當行銷人員傻眼問:呃...工程師大大,為什麼按了取經緯度按鈕後程式好像就當掉了?
【28】當行銷人員仍不滿足地問:之前也有很多分析,這些也可以全部放到一個shiny上嗎?
【29】當老闆還是有問題的問:嗯嗯嗯!那我想問,如果我另外一台電腦也想使用shiny 來整理資料,他也要設定環境那些嗎?
完賽篇:
【30】當老闆...沒 我下班了 總整理與資料分析未來方向篇